Transformer Tracking

分享人：李一迪
研究方向：目标跟踪
论文题目：Transformer Tracking
论文作者：Xin Chen, Bin Yan, Jiawen Zhu, Dong Wang, Xiaoyun Yang, Huchuan Lu
作者单位：大连理工大学、鹏城实验室
论文摘要：相关性在跟踪领域起着至关重要的作用，尤其是在最近流行的基于Siamese的跟踪器中。相关运算是一种考虑模板与搜索区域相似度的简单融合方式。然而，相关运算本身是一个局部线性匹配过程，容易导致语义信息丢失，容易陷入局部最优，这是设计高精度跟踪算法的瓶颈。有没有比相关性更好的特征融合方法？为了解决这个问题，受 Transformer 的启发，这项工作提出了一种新颖的基于注意力的特征融合网络，它使用注意力有效地结合了模板和搜索区域特征。具体来说，所提出的方法包括一个基于自注意力的自我上下文增强模块和一个基于交叉注意力的交叉特征增强模块。最后，我们提出了一种基于 Siamese 特征提取主干、一种基于注意力的融合机制以及包含分类和回归头的 Transformer 跟踪（称为 TransT）方法。实验表明，我们的 TransT 在六个具有挑战性的数据集上取得了非常有希望的结果，特别是在大规模 LaSOT、TrackingNet 和 GOT-10k 基准上。我们的跟踪器在 GPU 上以大约 50 fps 的速度运行。代码和模型可在 https://github.com/chenxin-dlut/TransT 获得。
原文链接：

点击此处